🚀Как построить ML-пайплайн в Apache Spark: пошаговый гайд
В свежей статье на KDnuggets рассматривается, как с помощью Apache Spark и библиотеки MLlib можно построить масштабируемый пайплайн машинного обучения для задач, таких как прогноз оттока клиентов.
🔧Компоненты пайплайна: - Transformers: преобразуют данные (например, StringIndexer, `StandardScaler`) - Estimators: обучают модели (например, `LogisticRegression`) - Pipeline: объединяет все шаги в единую последовательность
🧪Пример: 1. Загрузка и очистка данных 2. Преобразование категориальных признаков 3. Сборка признаков в вектор 4. Масштабирование данных 5. Обучение модели логистической регрессии 6. Оценка качества модели (accuracy, precision, recall, F1)
📌Ключевые преимущества: - Высокая скорость обработки больших объемов данных - Удобная интеграция с Python через PySpark - Гибкость и масштабируемость для промышленных задач
🚀Как построить ML-пайплайн в Apache Spark: пошаговый гайд
В свежей статье на KDnuggets рассматривается, как с помощью Apache Spark и библиотеки MLlib можно построить масштабируемый пайплайн машинного обучения для задач, таких как прогноз оттока клиентов.
🔧Компоненты пайплайна: - Transformers: преобразуют данные (например, StringIndexer, `StandardScaler`) - Estimators: обучают модели (например, `LogisticRegression`) - Pipeline: объединяет все шаги в единую последовательность
🧪Пример: 1. Загрузка и очистка данных 2. Преобразование категориальных признаков 3. Сборка признаков в вектор 4. Масштабирование данных 5. Обучение модели логистической регрессии 6. Оценка качества модели (accuracy, precision, recall, F1)
📌Ключевые преимущества: - Высокая скорость обработки больших объемов данных - Удобная интеграция с Python через PySpark - Гибкость и масштабируемость для промышленных задач
Telegram auto-delete message, expiring invites, and more
elegram is updating its messaging app with options for auto-deleting messages, expiring invite links, and new unlimited groups, the company shared in a blog post. Much like Signal, Telegram received a burst of new users in the confusion over WhatsApp’s privacy policy and now the company is adopting features that were already part of its competitors’ apps, features which offer more security and privacy. Auto-deleting messages were already possible in Telegram’s encrypted Secret Chats, but this new update for iOS and Android adds the option to make messages disappear in any kind of chat. Auto-delete can be enabled inside of chats, and set to delete either 24 hours or seven days after messages are sent. Auto-delete won’t remove every message though; if a message was sent before the feature was turned on, it’ll stick around. Telegram’s competitors have had similar features: WhatsApp introduced a feature in 2020 and Signal has had disappearing messages since at least 2016.
China’s stock markets are some of the largest in the world, with total market capitalization reaching RMB 79 trillion (US$12.2 trillion) in 2020. China’s stock markets are seen as a crucial tool for driving economic growth, in particular for financing the country’s rapidly growing high-tech sectors.Although traditionally closed off to overseas investors, China’s financial markets have gradually been loosening restrictions over the past couple of decades. At the same time, reforms have sought to make it easier for Chinese companies to list on onshore stock exchanges, and new programs have been launched in attempts to lure some of China’s most coveted overseas-listed companies back to the country.
